摘要。复杂的交通环境和各种天气条件使LIDAR数据的收集昂贵且具有挑战性。需要实现高质量和可控的LiDAR数据生成,使用文本是一种常见的做法,但是在该领域几乎没有研究。为此,我们提出了Text2Lidar,这是第一个高效,多样和可控制的LiDAR数据生成模型。具体来说,我们设计了一个等应角变压器体系结构,利用设计的等齿注意力以具有数据特征的方式捕获LiDAR特征。然后,我们设计了一个控制信号嵌入式注射器,以通过全局至中心的注意机制有效地整合控制信号。此外,我们设计了一个频率调节器,以帮助该模型恢复高频降低,以确保生成的点云的清晰度。为了促进现场发展并优化了文本控制的生成性能,我们构建了Nulidartext,为850个场景提供了34,149 LIDAR点云的不同文本描述符。在Kitti-360和Nuscenes数据集中以各种形式进行了不受控制的文本控制生成实验,证明了我们方法的优越性。可以在https://github.com/wuyang98/text2lidar
主要关键词
![arxiv:2407.19628v1 [CS.CV] 29 Jul 2024PDF文件第1页](/bimg/d/d3f36ab9cede3e510c0352e25a6ccb4537042b2a.webp)
![arxiv:2407.19628v1 [CS.CV] 29 Jul 2024PDF文件第2页](/bimg/4/4cd674ec7e1c8dba18751a7c88b27f45318e27f2.webp)
![arxiv:2407.19628v1 [CS.CV] 29 Jul 2024PDF文件第3页](/bimg/8/8027c6a40cdf14a2011db85bb7c6638561a79ca0.webp)
![arxiv:2407.19628v1 [CS.CV] 29 Jul 2024PDF文件第4页](/bimg/0/02f361653704ed8ddd830dd45885fda5eed6125c.webp)
![arxiv:2407.19628v1 [CS.CV] 29 Jul 2024PDF文件第5页](/bimg/0/04e579cd95add708bec80454d9a1819c2c0df2d3.webp)
